如何“治理”AI算法，为人类自身“解困”？｜问学·复旦管院
人工智能（AI）的飞速发展，正在为各行各业带来无限可能。然而在其应用场景不断拓展的过程中，我们发现自己常常被“困”：“信息茧房”借助个性化推荐困住了屏幕前的人，“大数据杀熟”通过个人数据分析困住了钱包……毫无疑问，眼下炙手可热的AIGC（生成式人工智能）也将会带来我们未曾意料到的新“困境”。
如何善用人工智能，为人类自身“解困”？本期“问学·复旦管院”邀请信息管理与商业智能系张成洪教授，为我们梳理人工智能发展中的“远虑”与“近忧”，并结合管理视角与算法研究，探究AI算法的“治”与“理”之道。
全文9879字
预计阅读时间25分钟
01
AI算法治理的必要性
自2016年3月阿尔法狗（AlphaGo）击败人类棋手李世石的新闻传出后，人们对人工智能的关注逐渐升高，兴奋之余也开始思考机器智能是否可能超越人类智能。
实际上，在2016年之前，就曾有报道提到一位国际象棋特级大师在比赛时使用手机作弊，暗示手机可能在某些方面胜过人类，尤其在国际象棋领域。此外，还有一则报道提及一位国际象棋棋手，被问及如果与机器对手下棋，他会如何应对？
他回答称：“我无法应对，只能拿把锤子将其击碎。”
机器智能是否会超越人类？我认为这取决于具体的领域。这是一份汉斯的人类能力地图，他在这个地图上标示出在一些领域，例如死记硬背、算数、下棋、问答比赛等方面，机器已经超越了人类。随着时间的推移，像机器视觉、语音识别、语言翻译等领域，机器的发展已经慢慢接近并超越了人类。
当然，人类的能力也有其独特之处。例如，在科学、艺术以及AI算法设计等领域，人类可能还拥有一些独特的高峰。机器智能要在这些领域超越人类，可能还需要相当长的时间。
然而，最近一段时间内，我们也注意到了一些变化。例如，去年年底发布的ChatGPT，已经展现出了令人惊讶的能力。这些新技术具备了通用人类意图理解和思维链的能力，尤其是在与深度学习和生成式AI相结合的情况下，再加上基于人类反馈的强化学习，计算机已经能够完成编程、写作、绘画等任务，逐步接近了人类能力地图上的几座高峰。
以绘画为例，过去我们普遍认为绘画是一种需要创造力的表达，是人类特有的能力。然而，以GPT-4为代表的生成式AI，已经能够自动生成各种创意和作品。这些AI创造的绘画作品，在风格和形式上极为多样。但是，作品是否具有艺术价值，是否符合艺术的审美要求，这需要人类进行判断，但如果人去判断所有的AI作品，这个工作量是无法接受的。
怎么做呢？我们让人类与机器协作。先由人类对一些作品进行评价和判断，然后让机器学习这些案例的判断标准。通过基于人类反馈的学习，机器可以自动进行判断，这使得机器在绘画和创作领域有了更多的发展空间。
01
AI的“远虑”
今年上半年，包括马斯克在内的千名全球科技人士联名发布了一份公开信，呼吁暂停推出更强大的人工智能系统。
尽管我认为这份公开信的呼吁不太可行，但其中提出的许多观点值得深思。其中，特别强调了需要建立专门负责人工智能的、有能力的监管机构；强调了推出标明来源系统和水印系统的重要性，以帮助区分真实信息和合成信息，并跟踪模型的泄露；此外，还提出需要强大的审计和认证体系，以确保人工智能系统的透明度和可信度。另外，公开信还提出了需要明确人工智能可能造成的伤害所对应的责任归属。
这些内容表明，科技领域的关注不仅仅局限于人工智能的应用，更多地开始关注人工智能是否会带来负面影响，是否需要对其发展进行适当的限制。
02
AI的“近忧”
即使不去考虑AI的“远虑”，也需关注AI的“近忧”。
比如，电商平台依赖算法进行推荐和定价，可能导致价格歧视和大数据杀熟现象；视频网站通过算法推荐内容，可能造成信息茧房，使消费者只接触符合其观点的内容，加剧信息偏见；对于外卖骑手，AI算法的应用可能影响他们的工作和收入，使他们感觉被“困”在算法规则中。
03
AI算法的负面案例
这里还有一些负面案例。比如算法歧视，包括搜索排名与个性化推荐被操纵；医疗领域的误诊风险；隐私泄露、诱发舆论暴力、种族、性别的歧视；还有人类过度依赖算法，使个体失去自主性等。
此外，当算法决策或应用结果损害特定主体权益时，由于规则和原则不明确，可能导致利益救济不足的风险。滥用或误用算法也是一个潜在的风险。另外，算法产生的决策效果可能会破坏社会的公正和社会凝聚力。
另外，算法不透明，导致使用者难以相信其产生的结果，进而限制了AI的应用。此外，AI算法可能会威胁使用者的安全，特别在自动驾驶等领域。因此，我们迫切需要对AI算法进行有效的治理。
02
AI算法治理的内涵
01
AI算法治理的定义
AI算法治理的定义是基于风险防范的要求，对算法本身以及其应用的场景和解决的问题，作为治理对象进行规范化、合规化的监管和修正。
学界对于算法治理已经开始关注，不同学者提出了不同的定义。例如，有一种定义是，算法治理致力于提高算法的可解释性、透明性和技术保障，涉及一系列技术标准和法律规范的制定。
另外有学者认为，算法治理旨在确保算法的安全性，要对算法建模和预测的全过程进行管理。
当涉及到算法的标准和要求时，出现了一些新的术语，例如公平的AI、可解释的AI、负责任的AI和可信的AI等等。然而，综合考虑这些概念，我们可以总结出一些关于制定、设计和运行AI算法的基本原则。
02
制定AI算法设计/运行的基本原则
1）准确性。AI算法的首要任务是准确，如果不准确本身就没用，还会带来负面效果。
2）稳定性。它要求我们的算法不仅在当前情境下准确可靠，还需在不同情境下保持准确可靠。
3）可靠性。保证算法决策依据的充分性，保证决策结果可靠，可信任。
4）公平性。保证算法的决策无偏向性，无指向性。
5）透明性（可理解性）。保证算法的决策过程是透明的，决策结果是让大众可以理解的。
6）安全性。算法的开发和使用必须免受安全隐患的影响，不能因为外部干扰或攻击而导致算法误判。
7）隐私保护。算法一定会使用数据，所以要保证数据的安全，保护用户隐私。
以上七点是制定AI算法的基本要求。
03
AI算法治理的主要挑战
AI算法治理的主要挑战是虽然目前有社会共识，有政策法规的要求，但还没有形成AI算法治理的体系。难点在哪里？因为AI算法经常是一个“黑匣子”，难以检测AI算法是否符合透明可解释、公平多样、安全合规等要求。
此外，因为算法是由数据驱动的，设计人员怎么保证算法是合规合法的、符合科技伦理的？应该由谁负责AI算法的治理？谁又有能力来做AI算法治理？
04
AI算法治理的内容层次
我的观点是，AI算法治理至少要包含三个层次。
第一个层次，是算法治理的政策法规，由国家行业的主管部门制定政策，给予指导。
第二个层次，是算法合规性的审计，依据法律法规或者行业要求对企业展开检查和监管，这个可能企业内部做，也可能需要行业或国家成立专门的机构监管机构去做。
第三个层次，是开发出合规合法的AI算法，这对开发人员、对算法工程师是有要求的。
接下来，我将从以上这三个层面详细讨论AI算法的“治”与“理”。
03
算法治理的政策法规
算法治理的政策法规具有特殊重要性，因为它是算法治理的重要指引，是全社会的共识。政府与行业需要共同合作，制定法律法规，以确保算法的合理运用，并进行必要的政府监管。这需要确立健全的算法问责机制，明晰算法的责任主体，以促进算法治理走向科学化、体系化。
同时，伦理道德方面的约束也不可或缺。一些企业在这方面也展现出积极努力，例如微软设立了人工智能能力委员会、美国联邦政府与亚马逊合作开发促进算法公平性的项目。另外，腾讯一直强调科技向善，阿里在实践中也致力于开发负责任的AIGC。
实际上，从2021年起，我国相继颁布了一系列关于算法治理的法律法规。例如，于2021年3月发布的人工智能算法在金融领域应用的评价规范。同样值得一提的是，7月份人力资源和社会保障部等八个部门共同发布了一份指导意见，着眼于维护新兴就业形态下劳动者权益的保护。
8月国家出台了互联网信息服务算法推荐管理的规定，主要是强调信息服务的推荐过程中要避免信息检查，在2022年形成了正式的意见。9月份发布《新一代人工智能的伦理规范》，2022年11月份，又出台了《互联网信息服务深度合成管理规范》，今年发布了《生成式人工智能服务管理办法》的征求意见稿。近几年有大量的相关文件发布。
04
算法合规性审计
01
AI算法合规性审计为什么重要？
算法合规性审计之所以重要，源于诸多因素。以2021年美团为例，为应对社会上对于骑手困在算法中的关注。在国家出台相应要求以保护骑手权益之际，美团采取了措施，公开了其骑手调度管理算法。然而，此举并未如预期般奏效，因公开程度较为粗略，难以被广泛理解。
在此引发一个问题：公开的程度应如何界定？若完全公开，是否会损害公司有关算法的知识产权？所以公开程度与算法的知识产权保护怎么去界定？这是一种矛盾，即不太可能要求企业完全向社会公开其AI算法。
相比之下，更好的方式是将其向专业人士或审计机构公开，或者设立专门的审计机构，以审计为手段检查企业或其AI程序是否遵守政策法规，确保其算法达到合规向善的企业承诺。
当然，审计方式或可为企业内部部门，亦或为外部专业机构。
02
AI算法合规性审计为什么困难？
目前，对于AI算法进行审计确实极具挑战性。
过去，企业对业务进行审计时可能发现，大部分业务实际上是由信息技术(IT)主导的，或者说业务的运转离不开IT系统。因此，对于IT系统的审计变得不可或缺，这可能需要对IT系统的逻辑进行严格审查。
而当我们现在面临算法审计时，即便我们有条件打开算法的代码，很可能仍然无法判断其合规性。正如之前所述，许多算法是数据驱动的，连算法工程师自己也可能无法预测所训练出的模型是否会违反某些伦理规范。尤其对于许多深度学习的AI算法来说，它们常常被视为黑匣子，难以深入探究其内部机理。
03
AI算法合规性审计——制度建设
当然，算法治理努力仍然需要继续前行，这需要在几个方面展开工作。首先，制度建设方面是关键，其中一个方向是确立相应的监管体系。监管部门需要将算法视为监管的对象，并对其全过程进行监管。有时候，由企业内部自行进行算法治理，而在某些情况下需要引入第三方的算法治理机构。
04
AI算法合规性审计——一般流程
此外，我们还可以借鉴传统审计流程的经验。例如，对于算法合规性审计，我们可以采用类似的方法。首先，制定一套标准，然后进行调研，收集必要的信息，并进行测试和反馈。最终，总结审计结果。这样的流程我们过去用于内部审计的经验，现在可以用于算法合规性审计。
05
AI算法合规性审计——测试方法
当真正进行算法审计时，特别重要的是进行测试，以发现潜在的风险点和问题。测试可分为两大类。
第一类是符合性测试，以确认算法是否遵循相关政策，是否按照要求执行了相应的流程。这可以包括查阅文件、访谈相关人员、审查自查报告，甚至检查系统、代码和数据。
第二类是实质性测试，包括系统测试、特殊样本的探测、扰动测试，以及确保算法可解释的测试。在开展算法审计工作时，需要明确审计目标，了解评价标准，并确定问题识别的方法和相关分析工具。这样可以帮助我们全面而系统地进行算法审计。
06
AI算法合规性审计——评价指标案例
让我们来简单看一下在算法合规性审计中如何选择评价指标。
以公平性为例，需要考虑的是算法是否存在对特定群体的歧视，如性别歧视。可以借鉴分类任务中使用的混淆矩阵来判断。比如关注算法是否将本来合格的女性错误地判断为不合格，或者将不合格的男性错误地判断为合格。通过比较两个不同群体之间的这种情况是否一致，如果一致，表示没有歧视，反之，可能存在歧视问题，即不公平情况。
那么，如何检测一个AI系统或算法是否存在歧视或不公平情况呢？
第一种方法：通过实际的样本去测试，观察其最终结果是否具有问题。然而，依靠人工生成大量样本进行测试的工作量是庞大且难以接受的。
第二种方法：强化学习，让计算机自动生成样本并进行测试，以检测是否存在歧视情况。
当然，任由计算机随意生成样本也是不可接受的。使用强化学习的方法，计算机会尝试找到已有样本中存在问题的模式，然后根据这些模式生成新的样本。通过这种循环的方式，不断产生新样本，尽量将存在问题的样本识别出来。
因此，有一项研究基于多个数据集，并采用强化学习方法，以寻找潜在的歧视样本。这种方法的效果显著，它使得我们能够检测算法是否存在歧视问题。
另一个话题是信息茧房。首先明确定义，什么情况可以被视作信息茧房。总体而言，有两个指标可用于界定信息茧房。
第一个指标：信息集中度。如果某位用户阅读的文章或观看的视频都属于同一主题类别，那么他很可能陷入了信息茧房的状态。
第二个指标：收敛性。这指的是，我们可以观察用户经历多长的时间阶段会陷入某些特定类别。如果用户很快就陷入某一类别并长时间保持，那么信息茧房的情况可能较为严重。
与信息茧房对应的是内容的多样性，以及主题类别之间情感的差异性，或者内容作者的权威性等等。通过这些方式，我们可以对信息茧房现象进行评测。
07
算法合规性审计——可视化工具
目前，算法合规性审计领域已经出现了一些可视化工具。例如IBM开发的这个可信AI可视化工具，它能帮助我们更好地理解和审查AI算法的决策过程。比如考察一个负责车损理赔判断的AI程序，当有人提出理赔申请时，该程序可能根据一系列因素判断该申请是否应该被拒绝，比如有90%的概率拒绝。
在这个过程中，该工具可以提供可视化的方式，帮助解释为什么会作出这样的决策。例如，它可以显示出一些因素，比如保险到期时间不足一年、高频率的理赔申请、年龄较小等，这些因素可能导致决策的结果。这种可视化工具有助于使决策过程更透明，让审计人员和相关人士更好地了解算法的运行和判定依据。
类似的可视化工具还可以用于做公平性的展示。
继续以车损理赔为例，可以针对上述AI程序在不同年龄段车主的理赔通过率进行统计和比较。例如，可能发现年轻人，特别是18岁到22岁之间的年轻人，其理赔通过率仅为52%，远低于70%这个整体平均通过率。
在此情境下，该工具可以进行一种测试，将样本中的年龄替换为18-22岁以外的其他年龄段，重新计算其理赔通过率。结果可能显示通过率明显提高，例如达到了65%。这表明年龄上的差异性对理赔结果产生了影响，而通过这种方式可能减少了公平性问题或歧视问题。
值得注意的是，这种调整后的结果在准确性方面基本没有下降。这种可视化工具的应用有助于更全面地评估算法的公平性，揭示潜在的歧视问题，并提供有助于优化算法决策的线索。
08
小结：AI算法审计的现状与未来
目前，AI算法审计仍处于初步探索阶段。尚未形成专门的AI算法审计机构，传统的会计事务所也很少开展AI算法审计业务。确实，让传统的会计人员做AI算法审计也相当困难。然而，我认为AI算法审计是未来的必然趋势，特别是在AI监管要求不断加强、AI负面事件增多的背景下，AI算法审计是必然的趋势。
我觉得，类似于过去我们建立了软件评测中心和安全评测中心一样，各地区可能会逐渐建立专业的机构来进行AI算法审计和认证工作。
虽然AI算法审计的道路充满挑战，还需要大量的研究和探索，但同时也蕴含着巨大的机遇和潜力。随着技术的不断发展和专业机构的建立，我相信AI算法审计会逐渐成为一项重要的工作，为确保AI系统的透明性、公平性和合规性发挥着关键作用。
05
合规算法的开发
01
合规算法开发的需求
实际上，在算法开发阶段就考虑合规性问题是非常重要的。事后审计存在局限性，有时候可以说是于事无补，因此在算法开发的早期阶段就考虑到这些问题是更为理想的做法。
然而，确保算法在开发过程中合规并不是一项容易的任务。对于可解释的模型，我们可能可以采取一些方法来确保样本特征、参数、目标函数等都符合合规要求，但对于深度学习等复杂模型来说可能更具挑战性。
此外，如何将合规性要求与业务要求融合并在模型的训练过程中加以约束也是一个重要问题。我们需要考虑如何确保模型是可解释和可监管的，同时符合伦理标准，并遵循业务常识。这可能需要采用一系列策略。
02
非歧视与公平性
我们来看一些例子，比如算法歧视和公平性这方面。造成算法歧视的原因是什么？
第一，可能由于训练数据和真实数据的分布不一致，包括源样本选择错误等。
第二，可能是算法设计过程中没有考虑公平性准则，也就是损失函数设计、目标函数设计、算法模型的选择、阈值设计出了问题。
第三，可能评价标准不适用于业务场景。举个例子，有研究提到，通过医疗保险的费用支出来反映个体的身体健康状况，有些人可能很少去看病，因此他们的支出较少。然而，这并不能准确代表他们的身体健康状况良好。这引出了我们代理变量的选择问题，即变量无法直接且准确地反映个体状况。
因此我们需要采取行动确保不存在歧视，有多种方法可以做到这一点。
一种方法是对数据进行预处理，如将敏感属性（如年龄、性别、种族）从贷款违约等预测中移除。但仅仅移除这些敏感数据可能不足够，因为它们可能会间接影响最终结论。有研究提出，在模型输入之前对这些敏感属性进行脱敏处理，与其他变量一起进行处理，以尽量消除这些敏感属性的影响。这种算法确保了公平性方面的考量，虽然整体准确率略有下降，但不至于影响业务收益。
03
可解释性：设计算法模型可解释
我们考虑第二个方面，关于模型的可解释性。
有些模型本身就具备可解释性，被称为白盒模型，例如决策树。然而，还有一些模型是黑盒模型，如图神经网络，对黑盒模型需要更多解释。
一种方法如下图所示：我们需要预测一个个体的偏好，这不仅涉及用户个人的年龄、性别等属性信息，还包括其社交网络等因素。使用图神经网络，我们可以预测一个人喜欢篮球，另一个人喜欢帆船运动，这是黑盒模型的输出。
为了解释这些结果，我们使用GNN（图神经网络）解释器进行分析。这个解释器会考虑为什么模型认为某人喜欢篮球。例如，GNN解释器认为GNN判断他喜欢篮球主要是与红色边的用户相关，且这些用户都喜欢球赛。类似地，对于另一个个体，解释器分析的结论可能基于他的社交圈中都是喜欢帆船运动的人，这也支持了模型的结论。
这种方法使得黑盒模型的结果更加可解释，帮助我们理解为何模型得出特定的预测结论。
当然我们要完整的去说可解释，可能要分成很多个方面，例如可以从三个方面来看。
一、解释的内容，是全局可解释还是局部可解释。
二、解释的过程，是只做输入输出映射的解释，还是全链路的解释。
三、解释的对象，是面向模型的可解释，还是面向个体样本的可解释。
全局可解释是什么？全局可解释从整个模型的判断结果出发，从整体上提供一个解释。类似于下图右侧的图片，图片上半部分为原始图像，而下半部分则显示了机器关注的是图像中的哪些点，高亮的部分就是算法所关注的点。通过分析这些亮点，可以判断算法关注的区域与需要识别的对象是否一致。
还有一种方法是局部可解释。
我们可以看下图右边第一张图是狗在弹吉他，深度学习的分类模型可能判断这张图为电吉他、原声吉他或拉布拉多犬。如果给定分类模型的分类结果，LIME（Local Interpretable Model-agnostic Explanations，模型无关的局部解释方法）可以为这一分类结果提供解释，告诉使用者究竟是哪一部分支持模型得出该分类结论。
还有一种方法，是把输入和输出进行映射的方式进行解释。这一方法的典型途径在于对各种属性进行扰动，然后观察这些扰动对最终结论的影响程度。
举例而言，针对年龄和性别等属性，通过引入适度扰动，分析年龄和性别对最终判定的影响程度。
另一种解释方法是全链路可解释，特别适用于深度学习。该方法涉及分析网络的每一层，监测其梯度变化，并追溯以确定哪些神经元对结果产生影响。类似右图所示，对于图像上方的刷牙场景，我们可以识别出算法关注的特定区域；对于砍柴场景，我们可以确定影响判定的关键区域。
在图卷积的最后一层将n张特征图通过全局平均池化的方法映射到n个类别，然后经过归一化指数函数（softmax）获得每一个类别的概率，并可视化的展示出来。全链路解释方法的优势在于提供了对决策过程中各个层次的理解，从而使解释更加清晰可靠。
04
隐私性：AI数据利用中的安全要求
AI算法是数据驱动的，因此数据的安全性要求和隐私保护特别重要。
国内外有大量的相关法规颁布。比如说我国有《数据安全管理办法》，美国有《国家安全与个人数据保护法》，欧盟有《通用数据保护条例》等等，都对数据保护、隐私保护提出要求。
目前，出现了多项隐私保护技术，其中以多方安全计算为代表的隐私计算备受瞩目。隐私计算的方法包括同态加密、可信执行环境、机密计算、查封隐私、秘密共享、零知识证明、混淆电路等。
在这些技术中，我特别关心的是联邦学习。联邦学习的框架如下：数据分布于不同企业，计算过程中数据是不出本企业。尽管各企业间互相数据是不可见，但可以进行联合计算，最终达成共同结论。
正如图中所示，联邦学习强调“数据不动，模型动，数据可用不可见”。意味着每个企业的数据都保持在其本地环境中，通过联邦学习算法或模型来访问和利用这些数据。这种方式确保了数据隐私和安全的同时，允许模型从各个企业的数据中受益，从而实现更广泛的合作和知识共享。
但在实际应用中，企业去实施联邦学习其实也不太容易。所以我们最近是有一个研究，关于联邦学习应用实施中的数据质量的风险防范和参与激励的这种方法。
首先，若干个企业要形成联邦，它的形成过程是什么？怎么能激励企业愿意参与?
其次，如何在数据不可见的情况下，确保数据质量，识别欺诈行为？
最后，在联邦学习中评估每个参与方的贡献大小是关键问题之一。合适的贡献度度量可以作为参与者之间利益分配的依据，确保各方在联邦学习中获得公平的回报。
总之，解决联邦学习中的数据质量、激励机制和贡献评估等问题需要综合运用技术手段和合理设计，以促进联邦学习在实际应用中的有效推广和应用。
05
安全性和鲁棒性：实现模型稳定
最后，我们探讨安全性和鲁棒性的问题。
尽管AI算法在正常情况下具有较高的准确性，但有时一些微小的扰动却可能导致误判。
举例来说，下图中原来是熊猫图片，我们添加一个微小干扰，这个干扰是把一个密密麻麻的特定干扰乘上一个很小的数字，使人眼几乎无法察觉，形成的不可见的微小干扰。将微小干扰合成进原图片，算法就错误地判断熊猫为长臂猿。这种情况影响了算法的安全性和鲁棒性。
解决这种干扰问题的方法之一是应用对抗学习。这种方法的核心是找到添加微小扰动后导致预测错误的样本，并通过最小化损失函数来减小这种影响。具体而言，这涉及到一个最小-最大化的优化问题，该方法首先通过最大化损失函数的方法在样本的邻域内找到最差的对抗样本，再最小化该样本的损失函数。通过这种双层优化过程降低了微小扰动对于模型的影响。
通过对抗学习等方法，我们可以增强AI算法的鲁棒性，减少微小扰动对预测结果的影响，从而提高算法的安全性和稳定性。这对于确保AI系统在不同情况下都能做出准确和可靠的判断至关重要。
06
总 结
综合而言，人工智能对人类的影响深远，然而它又可以说是一把“双刃剑”。因此，我们既需善用人工智能，也要严密监管，特别是在AI算法治理方面。尽管我国已在政策层面积极出台许多相关政策，但就算法治理的合规性审计和合规算法开发而言，仍处于探索初期。
要推进AI算法治理，需要高校和企业共同研究推进，行业和政府制度也应密切参与，同时，AI开发人员也需自觉承担责任。我深信，通过对AI算法的有效治理，我们将确保科技未来的善用，真正实现人工智能的负责任发展。
教授简介
张成洪
复旦大学管理学院
信息管理与商业智能系
教授、博士生导师
主要研究方向包括AI算法治理、知识管理、商业智能等。曾于2002年5月至2005年8月担任复旦大学信息化办公室副主任兼信息中心主任。主持了6项国家自然科学基金项目和多项省部级重要科研课题，发表了90多篇学术论文。曾2次获得上海市科学技术进步奖二等奖，1次获得上海市决策咨询研究成果奖三等奖；曾获得上海市教学成果一等奖、复旦大学教学成果特等奖、复旦大学教学成果一等奖、复旦大学研究生教学成果三等奖。
创作属于你的
思维导图
小管用思维导图的形式
对文章主要脉络进行了梳理
欢迎创作属于你的思维导图
并通过公众号对话框发给我们
优秀作品将在学院新媒体平台展示
并有惊喜礼物
快来参加